A4-3 説明可能な検索ベースの文書分類手法の提案
中井優, 中野雄介, 徳永優也, 上田亮, 谷中瞳 (東大)
概要
現在，文書分類などの様々な自然言語処理のタス
クにおいて，判断根拠が説明可能な手法の重要性が
高まっている．本研究では，分類に有効な文書を訓
練事例や外部の知識コーパスから検索して利用す
る，検索ベースの文書分類手法を提案する．提案手
法は，分類に利用した文書を出力することができ，
文書分類に説明可能性を与える．本論文では，AG
News データセットを用いて学習・推論を行い，分類
精度・説明可能性の 2 つの側面から提案手法の有効
性を検証した．実験の結果，知識コーパスを利用し
ない既存の大規模言語モデルと比べて，知識コーパ
スの検索結果を利用することによって精度が向上す
ることを確認した．また，モデルが分類根拠として
示す文書と分類対象の文書との文間類似度と，人手
評価との間に有意な相関を確認することができた．
背景
NNで文書分類するとブラックボックスになる
社会実装の課題になる
NNの説明可能性とは
なぜその推論結果になったのかを説明する能力
評価指標がない
本研究では意味類似度を用いる
説明
事後的説明
推論後に追加の操作で説明
自己的説明
推論過程で得られる情報で説明
自己的説明に関する先行研究
入力トークンに対するアテンションを説明の根拠とする
偏微分して重み付けする
検索拡張言語モデル
質疑応答タスク
RetrieverとReader
Retriever
Reader
目的
判断根拠の提示による説明可能性の向上
提案手法
聞き逃した
訓練手法
AG Newsデータセット
実験
評価
コサイン類似度
意味類似度（STS）